MAP

Study /

AI /

Bayesian Decision /

MAP

Create : 2024년 10월 15일 19:35Update : 2025년 8월 22일 23:31

# Tag:

Source/KU_ML

MAP(Maximum a Posteriori Estimation)

MLE는 관찰된 데이터만을 바탕으로 추정하며, Parameter에 대한 사전 지식(Prior)를 반영하지 못한다.

반면, Posterior는 특정한 파라미터 값이 주어진 데이터에서 얼마나 가능성이 높은지를 찾는 것으로, 사전 지식과 데이터를 결합해 더 직관적인 추정을 가능하게 한다.

θ_{MAP} = ar g θ max P (θ ∣ D) = ar g θ max P (D ∣ θ) P (θ)

MAP는 Prior를 반영하므로, 데이터가 적거나 노이즈가 많은 경우 Overfitting을 방지하면서 Estimation 가능하다. 즉, MLE에 비해 Prior를 활용해 보완하는 것이라 할 수 있다.
MLE는 Prior가 없더라도 데이터를 최대한 활용해 Estimation이 가능하다.
- Likelihood : $P (θ) = 1$ 인 경우라고도 볼 수 있다. 즉, 관측되지 않은 경우를 고려하지 않고 관찰된 경우에서만 따지므로 이에 대한 Parameter의 확률은 1일 수 밖에 없다.

Conjugate Prior

Likelihood와 결합할 때, Posterior가 Prior와 동일한 distribution family에 속하도록 설계된 Prior distribution.

간단히 하여, Prior와 Posterior의 distribution이 동일한 distribution family( ex) posterior: Gaussian Distribution $\to$ prior: Gaussian Distribution)를 유지하도록 하는 것이다.

P (θ ∣ X) \propto P (X ∣ θ) P (θ)

이를 통해 Posterior의 계산 과정을 단순화하고, Posterior를 구하기 위해 Likelihood와 Prior의 곱을 정규화하는 과정을 생략할 수 있게 해준다.

MAP for Categorical Distribution

Likelihood: $P (x ∣ θ) = \prod_{i} θ_{i}^{1 (x = v_{i})}$ , $0 \leq θ_{i} \leq 1$ and $i \sum θ_{i} = 1$

Conjugate Prior: Dirichlet distribution, $P (θ) = \frac{Γ ( i \sum α _{i} )}{\prod _{i} Γ ( α _{i} )} \prod_{i} θ_{i}^{α_{i} - 1} \propto \prod_{i} θ_{i}^{α_{i} - 1}$

By IID: $P (D ∣ θ) = \prod_{t} P (x^{t} ∣ θ)$

P (θ ∣ D) \propto P (D ∣ θ) P (θ) \propto t \prod i \prod θ_{i}^{1 (x^{t} = v_{i})} i \prod θ_{i}^{a_{i} - 1} = i \prod θ_{i}^{N_{i} + α_{i} - 1}

: when, $N_{i} = t \sum 1 (x^{t} = v_{i})$

이를 Lagrange Multiplier를 이용해 Optimization 문제로 전환하면

ar g θ, ∣ θ ∣ = 1 max P (θ ∣ D) = ar g θ, λ max [i \sum (N_{i} + α_{i} - 1) lo g θ_{i} - λ (i \sum θ_{i} - 1)]

$\frac{\partial L}{\partial θ _{i}} = \frac{N _{i} + α _{i} - 1}{θ _{i}} - λ = 0$
$\frac{\partial L}{\partial λ} = - i \sum θ_{i} + 1 = 0$ : 이 때, $i \sum N_{i} = N$ : $i$ 가 나온 횟수를 다 더하면 $N$ .

: 연립하면, $θ_{i} = \frac{N _{i} + α _{i} - 1}{N + j \sum ( α _{j} - 1 )} for all i$
결국에 이는 NBC의 문제를 보완하기 위해 고안된 M-estimate와 동일하게 된다.
( $m = j \sum (α_{j} - 1)$ , $p = \frac{α _{i} - 1}{j \sum ( α _{j} - 1 )}$ ): $a_{i} = 1 for all i$ 라면, [[MLE]]와 동일해진다.

MAP for Gaussian Distribution

Prior와 Posterior의 Distribution 형태가 동일하게 유지되어야 하므로 평균

μ

에 대한 Guassian Distribution을 이용한다. (guassian-guassian conjugacy)

Variance에 상관 없이, 데이터의 중심(평균)에 대한 불확실성을 반영하기 위함이다. 새로운 데이터가 반영될 수록, 평균에 대한 불확실성(평균 역시 Guassian Distribution이므로, 이에 대한 분산이 존재하며 이는 곧 불확실성이 된다)를 점점 줄여나가게 된다.

Likelihood 자체가 이미 Variance에 대한 정보를 반영하고 있으므로, Variance에 대한 Prior를 별도로 명시하지 않아도 데이터를 통해 Variance를 반영하게 된다.
여전히 Variance에 대한 불확실성은 존재하지만, 아래에서는 평균에 대해서만 따진다.

MAP Estimation of $μ$ for Gaussian Distribution

$P (x ∣ μ) = N (x; μ, σ^{2}) = \frac{1}{2 π σ} exp (- \frac{1}{2} \frac{( x - μ ) ^{2}}{σ ^{2}})$

$P (μ) = N (x; μ_{0}, σ_{0}^{2}) = \frac{1}{2 π σ _{0}} exp (- \frac{1}{2} \frac{( μ - μ _{0} ) ^{2}}{σ _{0}^{2}})$ : $μ$ 에 대한 guassian distribution. 즉, conjugate prior.

$P (μ ∣ D) = N (x; μ_{N}, σ_{N}^{2}) = \frac{1}{2 π σ _{N}} exp (- \frac{1}{2} \frac{( μ - μ _{N} ) ^{2}}{σ _{N}^{2}})$

P (μ ∣ D) = α P (D ∣ μ) P (μ) = α t \sum P (x^{t} ∣ μ) P (μ)

$α$ 는 Evidence 등 적절히 정리된 상수이고, 이 상수에 $μ$ 와 관련 없는 개별적 term들을 묶어내면, $α exp (- \frac{1}{2} ((\frac{N}{σ ^{2}} + \frac{1}{σ _{0}^{2}}) μ^{2} - 2 (\frac{t \sum x ^{t}}{σ ^{2}} + \frac{μ _{0}}{σ _{0}^{2}}) μ))$
: 에 대해서 $α$ 를 적당히 잘 조절하여서 다음과 같이 만들면

= \frac{1}{2 π σ _{N}} exp (- \frac{1}{2} \frac{( μ - μ _{N} ) ^{2}}{σ _{N}^{2}}) = \frac{1}{2 π σ _{N}} exp (- \frac{1}{2} (\frac{1}{σ _{N}^{2}} μ^{2} - 2 \frac{μ _{N}}{σ _{N}^{2}} μ + \frac{μ _{N}^{2}}{σ _{N}^{2}}))

즉, conjugate prior을 사용한 이유에 따라 train Data에 대한 평균의 posterior distribution과 동일해야 하므로 $μ$ 와 $μ^{2}$ 에 대한 coefficient 를 일치시키면

$\frac{N}{σ ^{2}} + \frac{1}{σ _{0}^{2}} = \frac{1}{σ _{N}^{2}}$ : $σ_{N}^{2} = \frac{σ ^{2} σ _{0}^{2}}{σ ^{2} + N σ _{0}^{2}}$
$\frac{t \sum x ^{t}}{σ ^{2}} + \frac{μ _{0}}{σ _{0}^{2}} = \frac{μ _{N}}{σ _{N}^{2}}$ : $μ_{N} = \frac{σ _{N}^{2}}{σ ^{2}} t \sum x^{t} + \frac{σ _{N}^{2}}{σ _{0}^{2}} μ_{0} = \frac{N σ _{0}^{2}}{σ ^{2} + N σ _{0}^{2}} m + \frac{σ _{0}^{2}}{σ ^{2} + N σ _{0}^{2}} μ_{0}$ :when $t \sum x^{t} = N \frac{t \sum x ^{t}}{N} = m$

μ_{MAP} = ar g max_{μ} P (μ ∣ D) = μ_{N}

$m$ : $μ_{ML}$ : 데이터를 보고 판단한 평균.
$μ_{0}$ : $μ_{prior}$ : 데이터를 관찰 전에 구한 prior 평균.

\frac{N σ _{0}^{2}}{σ ^{2} + N σ _{0}^{2}} μ_{ML} + \frac{σ _{0}^{2}}{σ ^{2} + N σ _{0}^{2}} μ_{prior}

에서, $\frac{N σ _{0}^{2}}{σ ^{2} + N σ _{0}^{2}}$ 와 $\frac{σ _{0}^{2}}{σ ^{2} + N σ _{0}^{2}}$ 는 각각 합했을 때 $1$ 이므로 weighted sum이라 할 수 있다.
이는, $N$ : (데이터 개수 혹은 관찰된 횟수)가 높아짐에 따라 MLE(데이터에 대한 믿음)에 대한 비중을 크게 두고, 작아짐에 따라 Prior(사전의 믿음)이 커진다는 결론이 된다.

이 때, $σ_{0}^{2}$ 는 prior에 대한 Variance(:평균으로부터 벗어날 불확실성)이므로 0에 가까울 수록 prior에 대한 믿음이 커진다.

Bayesian estimation

Random Variable

θ

의 가장 optimal한 추정 방법은,

$θ$ : 알고자 하는 parameter : label.
$c$ : 예측 값 (추정). 일 때, $E [(θ - c)^{2}]$ : error를 가장 작게 만드는 것이다.

= E [((θ - E [θ]) + (E [θ] - c))^{2}] = E [(θ - E [θ])^{2}] + E [(E [θ] - c)^{2}] = E [(θ - E [θ])^{2}] + (E [θ] - c)^{2}

: 이 때, $c$ 만 조정 가능하므로 $c$ 를 평균값으로 추정할 때 Error가 가장 작아질 것이라 예측해 볼 수 있다.

즉, 우리가 추정하고자 하는 최적의 parameter

c = θ_{bayes} = E [θ ∣ D] = \int θP (θ ∣ D) d θ